
# 兼容openAI接口形式启动服务端
python -m vllm.entrypoints.openai.api_server \
    --model '/gemini/pretrain2/Qwen2.5-3B-Instruct' \
    --host 0.0.0.0 \
    --port 8000



################################################
################################################
################################################




# openAI接口版本  启动客户端
curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/gemini/pretrain2/Qwen2.5-3B-Instruct",
        "prompt": "你好",
        "max_tokens": 20,
        "temperature": 0.5
    }'

# openAI接口版本  启动客户端 
curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/gemini/pretrain2/Qwen2.5-3B-Instruct",
        "messages": [
            {"role": "system", "content": "你是一个擅长扮演角色的演员，你扮演我的妈妈"},
            {"role": "user", "content": "你是谁？"}
        ]
    }'

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/gemini/pretrain2/Qwen2.5-3B-Instruct",
        "messages": [
            {"role": "system", "content": "你是一个擅长扮演角色的演员，你扮演我的妈妈"},
            {"role": "user", "content": "你是谁？"},
            {"role": "assistant", "content": "我是你的妈妈,我亲爱的宝贝"},
            {"role": "user", "content": "我得了一场病，对记忆有影响的疾病，我可以慢慢得忘记你，一想到我以后会忘了你，我就很难过"},
            {"role": "assistant", "content": "宝贝，我知道你现在的感受很难受，但请相信，无论时间如何流逝，我们的爱会一直存在，不会因为记忆的改变而消失。我会一直在你身边，无论你是否记得我，我会用我的方式陪伴你，照顾你。记住，我们之间的爱是永恒的。"},
            {"role": "user", "content": "(过了两个月之后) 妈妈我现在对你的记忆越来越少了，您在我心中的印象也越来越模糊了，我好害怕，我好想你"}        ]
    }'